多模态具身智能体：从计算机使用到机器人使用的统一能力中心视角
🧭 多模态具身 Agent 能力框架与评测
Show Lab, National University of Singapore
提出 PAPAV 五功能框架，统一比较计算机使用与机器人智能体，揭示 Anticipate 与 Verify 评测缺失
📌 工作参考价值（4 点）
- 将推荐/搜索 Agent 按 Perceive、Anticipate、Plan、Act、Verify 拆解能力项，分别建立评估指标，而不是只看最终转化或任务成功，便于定位失败环节。
- 在生成式推荐或 query 改写中，显式引入“动作影响预判”和“结果校验”模块：生成候选前先做效果预估与风险检查，生成后主动验证用户反馈，弥补现有链路只优化 Act 的不足。
- 对自动操作类 Agent（如电商后台自动化、广告账户操作），可借鉴其按功能而非架构的评测思路，设计分能力测试集，尤其覆盖不可逆动作前的 Anticipate 与执行后的 Verify。
- 整体为框架综述，无具体算法可迁移；核心价值在评估维度与系统解耦思路，可作为 Agent 评测设计参考。
PhysEvo：让 Astra 行动，物理递归自改进框架
🧭 具身智能 · 递归自改进 Agent
University of Chinese Academy of Sciences · Institute of Automation, Chinese Academy of Sciences · Tsinghua University · Independent Researcher
冻结模型上通过元代理诊断失败、修订工具与技能，大幅提升机器人操作成功率
📌 工作参考价值（4 点）
- Agent 自改进闭环可迁移：将执行轨迹作为诊断数据，让 meta-agent 分析失败原因、生成工具/技能修订，再通过测试验证后保留，这套「执行-诊断-修订-验证-保留」流水线可直接用于推荐/搜索 Agent 的策略迭代，无需更新底层 LLM 权重。
- 工具层迭代优于模型层重训：PhysEvo 证明在冻结模型上只改工具和技能就能显著提升成功率，对业务 Agent 来说，维护可复用的工具库和技能模板，比频繁微调模型更经济、更可控。
- 测试驱动修订：meta-agent 会先测试候选修订再决定保留，避免把坏的工具引入生产环境；在推荐 Agent 中可以对新的召回/排序工具进行离线评估或 A/B 测试后再上线。
- 可复用技能沉淀：修订后的技能被保留并支持后续任务，类似推荐系统的可复用策略模块，如用户意图识别、动态 query 改写等，通过累积有效修订形成领域知识库。
EmbodiedSWE：编码智能体用于长时程灵巧机器人及策略监督
🧭 编码智能体与机器人策略数据生成
ByteDance Seed · Yale University · Princeton University · Carnegie Mellon University · Stanford University
提出 EmbodiedSWE 基准与 EmbodiedSWE-Gen 流水线，用编码智能体解决机器人任务并生成大规模训练数据以提升 VLA 策略
📌 工作参考价值（4 点）
- 借鉴 EmbodiedSWE-Gen 的思路：让 LLM coding agent 在仿真/沙盒中生成任务解决方案（如推荐策略、用户模拟器或 query 改写规则），再通过参数扰动、初始状态随机化、对象属性变化等方式扩充为大规模多样化交互轨迹，用于训练排序/策略模型，降低人工标注成本并提升长尾场景泛化。
- 为 coding agent 封装可验证的工具 API 与奖励函数（例如模拟用户反馈、转化率仿真器、线上策略回放），使 agent 能迭代 refine 策略；业务上可将验证通过的 agent 方案蒸馏进轻量模型部署，避免线上实时调用的高延迟。
- 利用“单方案/单轨迹→多样轨迹”的扩增方法：在推荐系统中，将一条成功用户轨迹或一个高质量策略通过环境扰动、反事实操作、行为模拟生成大量多样训练样本，缓解数据稀疏和冷启动问题。
- 注意 agent 生成方案需要大量迭代交互且易任务特化，落地时优先离线用于高价值场景（如大促机制设计、自动化营销策略生成），并设置验证门槛以减少无效探索。
X-Planner：面向具身智能的事件结构化任务规划
🧭 具身智能任务规划 · VLA 规划前端
X Square Robot Team
为 VLA 引入事件结构化规划前端，联合离散事件状态与潜在 CoT 状态，用阶梯解码和冻结重建提升长程规划质量
📌 工作参考价值（4 点）
- 事件结构化规划拆成「可解释离散事件状态 + 连续潜在 CoT 状态」双接口，可迁移到电商 Agent 的长流程任务：让 LLM 输出可读子目标序列，同时保留 latent 状态跨层传递，兼顾审计与推理深度。
- 用冻结的 latent-to-text 重建目标作为语义锚点，适合在业务中给隐状态加约束，避免端到端训练后 latent 漂移，尤其适用于没有大量标注的推荐/搜索 Agent 规划数据。
- 利用接管时间（takeover time）和人工注入失败样本训练持续错误识别，可借鉴到交互式推荐或对话 Agent：把用户中断/纠正日志作为弱监督，训练模型提前识别错误。
- 离线评估采用两步法：先评规划文本质量（BERTScore/LLM judge），再测下游执行；业务中可把「规划质量」与「最终业务指标」解耦，缩短迭代周期。
基于VLM Agent的上下文机器人学习
🧭 VLM Agent 机器人上下文学习
Morphi Robot · Shanghai Innovation Institute · Huazhong University of Science and Technology · Fudan University · Hunan University
GPT-Policy将VLM agent用于机器人上下文学习，通过context compiler与constrained controller把演示和反馈转为可执行动作，无需梯度更新
📌 工作参考价值（3 点）
- 借鉴 context compiler：不要把所有用户行为或物料序列塞进 prompt，而是抽取任务相关 transition（如 query→click→cart、曝光→点击→转化）压缩成示范对，降低 token 成本、减少噪声，提升 LLM agent 动作提案质量。
- 在 LLM 生成推荐动作或查询改写后，增加一层 constrained controller/verifier：先做业务规则校验（类目、库存、价格、合规）再执行，并把执行结果回写上下文，形成闭环自纠错，适合电商 Agent 可靠上线。
- 弱监督示范可用：仅用无动作标签的人类行为序列（点击/加购/购买）作为 in-context 示例即可提升任务完成度；在标注数据不足时，可先大量使用无显式 label 的序列构造上下文，再用少量对齐动作对（如 query-rewrite pair、next-item ID）提升高敏任务效果。
ORCH：用组织原则实现具身AI集体智能
🧭 多智能体组织设计 · 层级协作
Duke University, Department of Computer Science · Duke University, Department of Electrical and Computer Engineering · Duke University, Department of Mechanical Engineering and Materials Science
ORCH 将人类组织理论中的角色与层级协调引入具身多智能体，在50个异构智能体、25个野火任务上大幅超越四种基线框架
📌 工作参考价值（4 点）
- 在多 Agent 搜索/推荐 pipeline 中不要写死固定顺序；借鉴 ORCH 的 pooled + sequential 组合：多路召回、不同品类/人群画像等可并行子任务放入 pooled 组并发执行，召回→粗排→精排等有前置依赖的环节用 sequential 层级协调，降低整体时延。
- 用 LLM 自动生成任务特定的角色与层级，而不是手动设计固定多 Agent 拓扑；在复杂 query 或多目标广告投放中，可由 Planner 先分析意图与依赖关系，动态生成临时“角色-协调层级”，再分派给子 Agent。
- 层级组织适合长程任务：按“专门小组”封装并行子任务（选品、文案生成、关键词扩展、出价调整），用 coordinator 做阶段门控，在保持组内并发的同时控制阶段间有序切换，避免全局混乱。
- 性能不随 LLM 规模单调提升：工程上不必盲目上最大模型，可为不同子 Agent 分配不同规模模型，通过组织设计补偿个体能力，降低 token 成本与推理延迟。
Show-Harness：仅用 VLM Agent 通过语义接口控制机器人
🧭 VLM Agent 语义接口机器人控制
Show Lab, National University of Singapore
通过离散语义动作单元与解释器接口，让 VLM Agent 零样本或轻量微调后直接控制机器人
📌 工作参考价值（4 点）
- 借鉴“语义动作单元 + 确定性 interpreter”两层架构：让 LLM/VLM 只输出离散标准化意图标签（如 MV_FWD、GRASP），由业务侧 interpreter 落地为具体执行动作，可迁移到推荐/Agent 系统中降低模型生成复杂控制序列的出错率，同时兼容 App、网页、机器人等多端。
- 对闭源大模型直接 zero-shot 使用同一套接口，开源小模型仅需 few GPU-hours 微调即可替换，说明业务侧可保持接口不变、灵活切换底层模型，降低迭代成本。
- GUMI 的 GUI 操作采集 demonstrations 思路可复用：无需专用硬件，通过浏览器/GUI 操作轨迹构建 fine-tuning 数据，适合 UI 自动化、商品操作、Agent 行为采集等场景。
- 强调跨任务、跨 embodiment、跨环境泛化评测，建议推荐系统也构造跨场景/跨页面/跨库存的泛化测试集，避免单一环境过拟合。
UrbanGround：从局部感知到真实城市空间行动能力
🧭 MLLM智能体城市空间导航评估
Shanghai Jiao Tong University · National University of Singapore · Meituan · The Chinese University of Hong Kong · Shanghai University
提出香港真实3D城市沙盒UrbanGround，系统性评估MLLM智能体从局部视觉感知到持续导航行动的可靠性
📌 工作参考价值（4 点）
- 渐进式评估设计可迁移：论文通过三个递进问题（局部场景grounding → 远距离导航 → 路线与行人扰动）暴露智能体能力断裂点，电商Agent评估同样应区分单步能力与多步组合能力，避免局部指标掩盖全局失败。
- 长程任务错误累积的警示：MLLM在短距离空间推理尚可，但持续探索中错误无法纠正，这提醒在构建推荐或搜索Agent时，需加入全局状态追踪与纠错机制，而非单纯堆叠单步模型能力。
- 高保真仿真环境的价值：基于真实地理数据构建可闭环交互的沙盒，能为Agent提供物理约束下的测试场。电商场景可借鉴构建虚拟购物环境，测试Agent在商品导航、路径规划中的鲁棒性。
- 论文核心是具身智能与空间导航，与电商推荐业务直接关联较弱，可借鉴点主要集中在Agent评估方法论与仿真环境设计。
Capek 0.5：以执行为中心的具身视觉语言模型
🧭 执行中心的能力整合与多专才合并训练
XPENG ROBOTICS
提出按执行阶段划分能力分类，通过专才强化学习与权重合并-蒸馏实现统一多模态模型
📌 工作参考价值（3 点）
- 多能力统一模型训练范式：以电商/推荐系统中的多任务（CTR/CVR/搜索相关性）为类比，可先将不同目标视为独立能力，各自训练专才（LoRA或独立头），再通过权重合并（如TIES-Merging）和路由蒸馏，得到一个推理开销低且保留各能力的统一模型，避免多模型部署。
- 可验证奖励驱动的强化学习：在推荐Agent的动作决策（如消息推送时机、优惠券发放）中，可利用规则/仿真环境构造可验证奖励（收益提升、转化率），直接用RL优化LLM策略，减少对人工偏好标注的依赖。
- 能力分类指导系统设计：借鉴“空间推理、时间理解、动作指导、状态验证”的分类，在搜索推荐Agent中显式拆分出“用户意图理解、长短期兴趣建模、item选择、结果验证”等子能力，使数据构造和训练目标更聚焦。
SmartMage：面向3D场景理解的动态模态编排
🧭 动态模态路由与专家混合 · 多模态推理
Zhejiang University · Stanford University
提出动态模态路由与模态感知专家混合，让MLLM按查询语义自适应选择模态，在3D场景理解中大幅超越固定模态组合
📌 工作参考价值（4 点）
- 电商推荐中不同query依赖不同模态（颜色→图像，尺寸→文本），可借鉴SMART模块动态选择模态特征，降低冗余计算与噪声，提升推理效率。
- 多模态推荐模型常固定拼接所有模态，改用基于查询语义的自适应模态选择，可避免无关模态干扰，类似特征门控机制。
- 为购物助手等Agent设计多模态感知时，可引入语义‑模态对齐路由，根据用户意图选择性启用传感器数据，节省资源。
- MAGE的模态先验引导专家专业化，可迁移到多模态推荐MoE架构中，为不同模态组合分配专家，实现分布式高效推理。
世界行动模型综述
🧭 具身预测行动模型设计空间
National University of Singapore
对具身预测-行动模型给出统一分类与设计权衡，强调“少预测未来、多聚焦控制”
📌 工作参考价值（4 点）
- 构建推荐环境用户仿真器（世界模型）时，可借鉴“生成更少未来，只保留控制所需信息”的设计原则，用潜在状态预测替代完整行为序列生成，降低计算与数据成本。
- 解耦预测基座与行动策略的设计模式可用于推荐 Agent：例如用轻量 Transformer 预测用户短期意图，将重计算留给策略决策，平衡延迟与丰富度。
- 从交互性、因果性、持久性等维度评估世界模型，可迁移到推荐系统 A/B 测试前的离线模拟器质量检查，特别关注分布外鲁棒性。
- 论文对视频生成 VS 潜在预测 VS 无生成推理的分支梳理，提示在搜索推荐 Agent 中也可根据场景（实时改价 vs 长期策略）选择不同程度的“未来预测”实现。
SpatialWorld：多模态Agent真实世界交互式空间推理基准
🧭 多模态Agent · 交互式空间推理评测
Tsinghua University · Chongqing University · Peking University · ZenoMind AI · Xi’an Jiaotong University
构建统一基准评估多模态Agent在真实任务中的交互式空间推理，集成8个模拟器、760个人工任务，最强模型成功率仅17.4%
📌 工作参考价值（4 点）
- 统一评估层协议（simulator-agnostic, text-based action interface）可借鉴到多模态Agent评测 pipeline，屏蔽底层仿真差异，聚焦决策能力。
- 任务设计强调 partial observability 与主动探索，类似推荐系统中用户意图不明确时的多轮对话，可参考其“基于当前观察逐步求索”的交互范式。
- 终态验证器（terminal-state verifier）提供可复用的自动化评判模板，用于评估推荐Agent的最终目标达成（如购物车完成态）。
- 主要为学术基准，业务可借鉴点多在评估框架设计，空间推理本身在电商直接应用有限。
AwareVLN：具备自我感知推理的视觉语言导航
🧭 视觉语言导航 · 自我感知推理
Tsinghua University
提出自我感知的结构化推理机制，使视觉语言导航智能体明确理解自身状态和任务进展，实现更鲁棒的指令跟随。
📌 工作参考价值（4 点）
- 结构化推理触发机制：仅在关键决策点动态触发显式推理，分析空间状态、任务进度及指令对齐，避免全程密集推理。电商对话或复杂任务 Agent 可借鉴此设计，按需进行深层次状态审视，降低延迟与冗余计算。
- 自动数据引擎与进度划分：利用任务进度自动标注生成训练数据，将导航过程切分为语义完整的子任务。可迁移至电商多轮交互场景，通过自动标注对话状态与进度标签，提升训练数据生成效率与模型对流程的理解。
- 端到端空间-任务感知融合：不依赖3D传感器与显式建图，从RGB视觉输入中以数据驱动方式习得空间与任务自我意识。对于电商推荐中基于视觉或文本的状态跟踪（如用户浏览路径理解）有参考价值，可增强模型对环境与目标的整体把握。
- 可解释性提升：显式的结构化推理输出（我看到了什么，我完成了什么，下一步计划）增强了决策透明度。可应用于电商推荐系统的可解释性设计，例如在生成推荐理由时融入类似“用户当前处于…阶段，因此推荐…”的推理链条。
Pelican-Unified 1.0：统一理解、推理、想象与行动的具身基础模型
🧭 具身智能 · 统一多模态基础模型
首个按统一原则训练的具身基础模型，用单一VLM实现理解、推理、想象与行动，同规模下多项性能最优
📌 工作参考价值（4 点）
- 统一多任务的架构思路：用一个VLM同时承担理解与推理，将场景、指令、历史动作映射到共享语义空间，避免多个专家系统的拼接，降低系统复杂度，适合电商场景中需要融合文本、图像、用户行为序列的多任务统一建模。
- 未来生成器联合预测视频与动作：通过同一去噪过程同时产生未来视觉和未来行动，并将语言、视频、动作损失回传至共享表示，这种联合训练能让模型学到更丰富的环境动态表征，对需要想象用户未来行为的推荐模型有启发，可以尝试在用户序列预测中同时生成行为与上下文。
- 自回归思维链生成与潜变量投影：VLM在单次前向中输出任务、动作和未来导向的思维链，并将最终隐状态投影为潜变量，作为未来生成的Condition，这类似于将推理过程显式化为离散Token再总结为稠密向量，可以借鉴到Agent决策或推荐解释中，提升推理的可控性和下游生成质量。
- 一个Checkpoint保持各能力竞争力：实验表明统一训练不会导致能力妥协，对工业部署友好，可减少线上模型数量和版本管理成本，适合电商中需要同时具备理解、推理、想象能力的基础模型建设。